Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting
知识与视觉问答基准的陷阱识别与修复：审计、修正与增强
🧭 知识增强多模态评测审计与修正
Rensselaer Polytechnic Institute · AT&T Chief Data Office
系统审计KB-VQA基准，揭示答案可推导性、问题约束和视觉设定上的缺陷，并引入修复与多实体增强协议，纠正模型评价偏差。
📌 工作参考价值（4 点）
- 在电商多模态知识增强场景（如商品问答、属性校验）中，应审计知识库覆盖率与答案可推导性，避免模型利用图像或语言捷径获得高准确率。
- 引入多实体同框的视觉歧义样本（如多商品对比图），迫使模型执行显式的视觉-知识对齐，而非简单匹配单个显著实体。
- 评估指标不能仅依赖端到端答案匹配，需设计中间过程验证（如检索证据、推理步骤）来衡量真实推理能力，模仿“审计-修复”流程。
- 构建知识增强推荐或Agent时，用受控的困难样本集进行诊断测试，发现模型在通道、推理上的薄弱环节。